Khởi nguồn từ ngôi miếu thờ nhỏ mang tên Đổng Thiên Vương và chùa Non Nước đã được xây dựng từ thời Đinh Tiên Hoàng để làm nơi tu hành của Quốc sư Khuông Việt, một lần Lê Hoàn (Lê Đại Hành) cùng các tướng sĩ trên đường hành quân chống giặc Tống xâm lược, vua tôi nhà Tiền Lê vào làm lễ cầu thánh Gióng phù hộ. Trong trận chiến, quân Tống thua to, khi quay về vua Lê Đại Hành vào lễ tạ rồi sai người tìm gốc trầm hương làm tượng thần và xây dựng thành khu đền uy nghi. Đồng thời phong thêm hai chữ "Phù" và "Thiên", tên của ngài được thờ tại đền Sóc là "Phù Đổng Thiên Vương".